91久久国产婷婷一区二区丨亚洲综合无码一区二区三区不卡丨超caopor在线公开视频丨国产精品乱码久久久久久久久丨日韩a片无码一区二区三区电影丨www.亚洲com丨动漫精品无码视频一区二区三区丨一道本视频在线观看丨五月天三级丨国户精品久久久久久久久久久不卡丨男女作爱bbbbbbbbb丨亚洲综合色成在线观看丨国产美女久久精品香蕉69丨黑人大群体交免费视频丨成人无码视频在线观看网址丨久久久1丨我想看一级黄色毛片丨精品一区久久丨www黄色网址丨911久久香蕉国产线看观看

由于鏈接的的指向，而導致網站內容重復，一直是網站SEO的大忌。不同的鏈接指向同一個網頁，就會被搜索引擎判定為作弊。昨天提到的Wordpress重定向插件，在一定意義上也是為了阻止重復內容。然而，由于Wordpress的結構原因，往往就會發生網頁內容重復的狀況。例如：http://www.domain.com/archive/1 和 http://www.domain.com/archive/1/feed兩個網址下的內容就是一樣的，所以，我們就必須想辦法阻止這樣的情況發生。

通常，解決重復內容的方法有：使用noindex標簽，利用excerpt實現內容摘要，以及配置robots.txt。今天就主要說說在Wordpress下使用robots.txt文件。

robots.txt文件就像一個網站的大門，它會告訴搜索引擎的蜘蛛，可以抓取哪里的網頁內容，哪里的不能抓取。因此，配置好robots.txt文件，完全可以理想的組織blog內容重復的問題。robots.txt的具體文法和使用方法，可以參考robotstxt.org。在國內，此類的Wordpress robots.txt比較流行：

User-agent: *

Disallow: /wp-

Disallow: /feed/

Disallow: /comments/feed

Disallow: /trackback/

Disallow: /?s=

剛才看到 filination.com上面提到的一個robots文件，并且提供了簡短的解釋。剛剛接觸robots.txt文件的朋友，可以參考一下：

User-agent: Googlebot

# Disallow all directories and files within

Disallow: /cgi-bin/

Disallow: /wp-admin/

Disallow: /wp-includes/

# Disallow all files ending with these extensions

Disallow: /*.php$

Disallow: /*.js$

Disallow: /*.inc$

Disallow: /*.css$

# Disallow parsing inpidual post feeds, categories and trackbacks..

Disallow: */trackback/

Disallow: */feed/

Disallow: /category/*

Robots.txt因人而異，不同的人對robots有不同的理解，在加上SEO一直是一個熱門話題，所以Wordpress的robots文件不會是唯一的，也不會有一個最好的。大家要是有覺得更好的，不妨分享一下。